目前Big data最熱門的open source專案莫過於Apache Spark。為什麼Spark會這麼受歡迎？原因有三個：速度、速度與速度，是的！沒看錯就是速度。當初Hadoop正式釋出後造成轟動，一個跨世紀的儲存、運算、資源管理的平台誕生了，但由於MapReduce運算花費太多的磁碟IO，造成運算效能與使用者的期待落差甚遠，所以Spark推出後就因為他的運算速度而快速吸引眾多的使用者！

根據Apache Spark官方網站的說明，Spark在記憶體內執行運算時，最快可以比Hadoop MapReduce快100倍。即使與MapReduceㄧ樣將運算結果儲存在硬碟上，運算速度也可以快上10倍。

Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk.

From: https://spark.apache.org/

由於Apache spark主打的是Lightning-fast cluster computing，輕量又快速的叢集運算，小至個人PC大到企業級伺服器，只要透過設定皆可以在這些機器上使用Spark來進行運算。

運算方式

Apache Spark是一個分散式的運算框架(Framework)，可分為以下幾種執行運算的方法，後面的文章會介紹這幾種執行方式的方法與差別。

• local mode
• Standalone
• On Hadoop Yarn
• On Apache Mesos

Spark Api

目前Spark Api所支援的語言有：

• Scala
• Java
• Python
• R

由於Spark原始碼是以Scala撰寫，所以在Scala Api的支援相較於其他語言比較完整，其次為Java、Python、R。建議使用Scala撰寫Spark Application 可以使用完整的Spark Api，未來若有機會trace source code也比較看得懂。

Components

Spaek主要包含四個函式庫的功能：

• Spark SQL
• Spark Streaming
• MLlib(machine learning)
• GraphX(graph)

From: https://spark.apache.org/

在Spark的篇章會介紹Spark SQL與Spark Streaming。

最後

簡單介紹完Apache Spark，接下來會針對下面的內容做更詳細的介紹：

• Spark的核心 - RDD (Resilient Distributed Dataset)
• Spark Shell
• 使用Spark api撰寫第一個Hello World application
• 執行Spark Application - Spark Submit
• Spark SQL
• Spark Streaming